Lê Túc Tông yểu mệnh chỉ làm vua nửa năm thì qua đời cuối năm 1504. Lê Tuấn được lập lên ngôi, tức là vua Lê Uy Mục. Uy Mục thù Đàm Văn Lễ không ủng hộ mình làm vua, bèn giáng ông ra làm quan ở thừa tuyên Quảng Nam.

Khi Đàm Văn Lễ đi đến sông Chân Phúc, vua Uy Mục sai người đuổi theo ép ông tự sát. Ông gieo mình xuống sông chết, năm đó 54 tuổi.

Sau này Lê Tương Dực khởi binh lật đổ Uy Mục đã truy phong và tế ông để nêu gương tiết nghĩa.